• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    一種無人飛行載具(UAV)包含：機身；具有相對於該機身之一或更多自由度之萬向架支撐轉台；設置於該萬向架支撐轉台中用以以該一或更多自由度隨之運動之攝像機；以及設置於該萬向架支撐轉台外部之中央視頻影像處理器，該中央視頻影像處理器經組配以接收及處理來自該攝像機之影像資料。
    公开号:TW201321059A
    申请号:TW101130828
    申请日:2012-08-24
    公开日:2013-06-01
    发明作者:Thomas Omer；Thomas Szarek；Jefferson C Mcbride
    申请人:Aerovironment Inc；
    IPC主号:B64D47-00
    专利说明:
    具有對外部影像處理器高頻寬資料傳輸的攝像球轉台
    本揭露大體上關於配置攝像機之飛行載具，例如用於監控之無人飛行載具。
    空中監控是無價的資訊匯集工具。在戰鬥設定中，其提供有關部隊規模、位置、行動、損傷估計及對於勝戰規劃和實行關鍵之一系列因素的情報。安裝攝像機之各式飛行載具可用以以即時、靜止或移動(視訊)影像的形式，透過包括用於滲透穿越諸如薄霧之可見性障礙及用於夜間作業之紅外線頻譜範圍提供資訊。攝像機相對於飛行載具可固定或可動、單機或整合。萬向架固定機構使攝像機可動，且通常包含典型相對於飛行載具而具有二自由度之轉台。搭載轉台之攝像機的運動可以是自動的，例如以預設掃描模式，或依據特定應用而由使用者啟動。例如，操作者可移動或縮放攝像機集中注意於有興趣之特定區域，以捕捉更高解析度影像，或於廣泛區域掃描以便即時或於後續影像分析期間檢測授權更嚴格審查之活動。經由監控收集之資訊可在飛行載具上本機處理，或傳輸至遠端作業中心。
    圖1為其上安裝萬向轉台102之飛行載具100的底視圖。轉台中配置攝像機104，此安裝提供由圖中雙頭箭頭表示之兩種程度的移動。
    除了傳統有人駕駛飛行載具外，無人飛行載具或UAV已獲得戰區內的廣泛接受。UAV之主要優點為其無駕駛員之特性，此降低了作戰中人員性命之暴露及風險。缺少駕駛員或其他人員操作員，但具有伴隨之支援系統，表示UAV可作成更小，且經費可專用於其他部分，諸如武器及監控裝備。然而，由於減少尺寸變得最重要，便強加了更精確之限制。其中為重量及航程考量，此轉變為改良之空氣動力學及緻密性之要求。為了該些理由，安裝攝像機之UAV需更小及更輕以便節省動力及航程。此外，因為其外部安裝，其設計需呈現對於飛行載具之較低拖曳或風阻。
    圖2為用於UAV之傳統安裝攝像機之轉台之示意圖。攝像機之若該細節包括主要光學元件(鏡頭等)202、感測器204、及視訊處理電路206。所有該些元件係安裝於球轉台102內。處理之來自攝像機的影像資訊從球轉台102傳送至設置於飛行載具之機身中之發射器(未顯示)。攝像機與發射器之間之傳輸機構可包括纜線208或其他權宜配置，諸如滑環(未顯示)，其經設計以排除球轉台之運動干擾，同時抗衡支援高解析度靜止或移動影像所需之大資訊量。從機身傳輸至地面站是無線的，例如經由射頻(RF)。
    如文中所說明，無人飛行載具(UAV)包括機身、相對於機身具有一或更多自由度之萬向架支撐轉台、設置於萬向架支撐轉台中而以一或更多自由度隨之運動之攝像機、及設置於萬向架支撐轉台外部之中央視頻影像處理器，中央視頻影像處理器經組配以接收及處理來自攝像機之影像資料。
    亦如文中所說明，監控方法包括使用安裝於飛行載具機身外部轉台中之萬向架固定攝像機捕捉影像資訊，將捕捉之影像資訊傳輸至設置於飛行載具機身中之中央影像處理器，以及於中央影像處理器中處理傳輸之捕捉的影像資訊。
    亦如文中所說明，裝置包括用於使用安裝於飛行載具機身外部轉台中之萬向架固定攝像機捕捉影像資訊之機構，用於將捕捉之影像資訊傳輸至設置於飛行載具機身中之中央影像處理器之機構，以及於中央影像處理器中處理傳輸之捕捉的影像資訊之機構。
    文中於具有高頻寬資料傳輸至外部影像處理器之攝像球轉台之上下文中說明範例實施例。本技藝中一般技術之人士將理解下列說明僅為描繪，且不希望有任何侷限。其他實施例將易於推薦予具有本揭露之優勢的技術純熟人士。現在將詳細參考於附圖中所描繪之範例實施例之實施。相同參考指標將用於可能貫穿圖式之範圍，且下列說明係針對相同或類似項目。
    為求清晰，並未顯示及說明文中所說明之實施的所有常規特性。當然，將理解的是在任何該等實際實施之發展中，必須作成各式特定實施之決定，以達成開發者之特定目標，諸如相容於應用及產業相關限制，且該些特定目標將隨實施及開發者而異。再者，將理解的是該等開發工作可能是複雜及耗時的，但儘管如此對於具有本揭露之優勢的一般技術人士而言，僅為常規工程作業。
    依據此揭露，文中所說明之元件、處理步驟、及/或資料結構可使用各種類型之作業系統、計算平台、電腦程式、及/或通用機器予以實施。此外，本技藝中該些一般技術人士將認識較少通用性質之裝置，諸如硬體裝置、場可程控閘陣列(FPGA)、專用積體電路(ASIC)等，亦可使用而未偏離其中所揭露之發明概念的範圍及精神。其中，包含一系列處理步驟之方法係藉由電腦或機器實施，且該些處理步驟可儲存為一系列可由機器讀取之指令，其可儲存於有形媒體上，諸如電腦記憶體裝置(例如，唯讀記憶體(ROM)、可程控唯讀記憶體(PROM)、電抹除可程控唯讀記憶體(EEPROM)、快閃記憶體、隨身碟(Jump Drive)等)、磁性儲存媒體(例如，磁帶、磁碟機等)、光學儲存媒體(例如，CD-ROM、DVD-ROM、紙卡、紙帶等)及其他類型程式記憶體。
    圖3為依據一實施例之UAV之系統架構方塊圖。虛線300區分轉台酬載302相對於飛行載具或機身酬載304之間之分離。轉台酬載302包括攝像機光學器件，為求簡單而未顯示。轉台酬載302亦包括萬向節機構306，負責移動攝像機光學器件通過方位角及立角範圍。使用平移及傾斜微處理器及馬達308及310結合提供該些機構之回饋與控制的角感測器312而實施運動。電光(EO)及紅外線(IR)檢測器314提供感測資訊予FPGA所構成之電路316，例如用於使資料連續及用於連接檢測器，例如提供與將被抓取訊框之大小及方位有關之指令、用於AGC測量之命令、軌道或穿刺(穩定)偏移、及同步信號。軌道及穿刺偏移為影響視訊中捕捉及返回之檢測器區域的參數，並為於機身上處理之視訊中產生之命令。穩定為匹配訊框與前一訊框之方法，以便移除不欲之運動，具保持視訊中物體靜止之效果。
    電路316之輸出於轉台外傳輸進入飛行載具。轉台酬載302可包含其他硬體及電路元件用於操作攝像機，諸如用於訊框捕捉、顯示方位、比例尺、格式(拜耳、單色)、影像穩定/追蹤、AGC測量、軌道或穿刺偏移、及同步信號之操縱及控制。然而，大部分視訊影像處理不僅藉由轉台酬載302中電路執行，如習知技藝之方法，亦藉由設置於飛行載具本身中之電路執行，作為飛行載具或機身酬載304之一部分。此減少了轉台之重量及其尺寸與相應阻力，亦減少了轉台中產生之熱的量，其中，可進行有限熱管理測量，特別是因日曬夜露的防水需求。此外，因為轉台之重量及尺寸減少，各式自由度中啟動轉台所需之馬達的尺寸及功率(及熱)減少。重量減少降低了轉台慣性，如此較輕的轉台可以較小馬達而旋轉地一樣快，或以一樣的馬達而旋轉地更快。此外，藉由分散若干或全部視訊處理至飛行載具中現有電子裝置而減少成本，排除了先前於飛行載具及轉台中建立之多餘元件。此外，藉由將視訊影像處理集中於飛行載具中一位置，來自攝像機而非轉台上之資料可傳送至集中位置，用於處理、減少冗餘、成本及重量，並可能更多。因為UAV是以電池操作，該些減少直接影響飛行時間(例如飛行任務時間)及飛行載具效能，並為關鍵的結果決定因素。圖4中方塊圖描繪集中方法，其顯示收集及處理來自包括登陸攝像機及監控攝像機1及2之多攝像機之資訊的中央影像處理器。該些多攝像機僅需單一中央影像處理器，配合尺寸、重量及成本節省。本方法之另一優點為影像處理之標準化，啟動多攝像機之每一者的光學器件之互換性。因而，轉台中攝像機之光學元件例如可容易地換出更多特殊光學功能，即更高的功率放大或縮放功能性，例如不需取代影像處理電路，或若必須以光學器件取代影像處理電路而視需要重新配置處理演算法及協定。應注意的是，監控及登陸攝像機可不與各不同之相關工作同時操作。因此不一定需要每一攝像機不同之視訊處理功能，並可針對兩種攝像機錯開時間。IR及EO攝像機亦可，其通常並不同步操作，且其亦交錯使用處理裝備，使得二者共用相同裝備。
    回至圖3，顯示中央視頻影像處理器318經組配以接收藉由實體USB連接320及通訊通道322傳送來自EO及IR檢測器314之影像資料及其他資訊。通訊通道322可選自各式連接，包括但不侷限於雙絞線導體、同軸電纜、滑環、或甚至無線連接。所使用之連接類型可為資料頻寬之函數及傳輸之前施加之壓縮量。原始未壓縮之資料需要最少處理且因此協助減少轉台之尺寸。然而，原始資料之傳輸強加最高頻寬需求，且傳輸路徑將因此組配，使用例如同軸或甚至光學電纜。所接收之影像資料及其他資訊係藉由中央視頻影像處理器318處理，其功能可包括但不侷限於從檢測器314獲得原始或部分狀況資料，獲得如何顯示個別訊框之資訊，包括旋轉及縮放資訊、執行穩定及/或追蹤，以及執行自動增益控制(AGC)測量並提供其結果。中央視頻影像處理器318亦經組配以接收非影像相關資訊，諸如來自自動駕駛微處理器324之資訊。部分或全部非影像相關資訊附加提供予萬向節306，擴及有關飛行載具狀態估計、機身率、任務資訊、飛行模式資訊、搖桿/控制資訊、DTED資訊(酬載使用之地面標高資料以估計何處將指向)及攝像機控制資料之其他資訊。可執行以上及其他功能之中央視頻影像處理器318模組(未顯示)可包括去馬賽克模組、視頻調節模組(例如進行顏色修正、白平衡、飽和及對比)、提供旋轉、縮放及偏移之資訊的個別訊框顯示資訊模組、及用於穩定、追蹤及視訊壓縮之樣本匹配模組。
    參照圖5及6說明依據一實施例之監控方法500。在此方法中，於502，安裝於飛行載具機身602外部之轉台中之萬向架固定攝像機600(圖6)用以收集影像資訊。接著於504，將影像資訊傳輸至設置於飛行載具機身中之中央影像處理器604。可選擇地，接著於506，將處理之影像傳輸至遠端基地台606。其次，登陸攝像機608亦傳輸其影像資訊至中央影像處理器604，且可選擇地，傳輸至遠端基地台606。儘管顯示登陸攝像機位於機身下側，其可設置於其他位置，例如對經組配以「顛倒」登陸之UAV而言，設置於機身之上側。
    雖然已顯示及說明實施例及應用，對於具有本揭露優勢之熟悉本技藝之人士顯而易見的是可進行較上述更多之修改而不偏離文中所揭露之發明概念。因此，本發明僅限制於申請項之精神。
    100‧‧‧飛行載具
    102‧‧‧萬向轉台
    104‧‧‧攝像機
    202‧‧‧主要光學元件
    204‧‧‧感測器
    206‧‧‧視訊處理電路
    208‧‧‧纜線
    300‧‧‧虛線
    302‧‧‧轉台酬載
    304‧‧‧機身酬載
    306‧‧‧萬向節機構
    308‧‧‧微處理器
    310‧‧‧馬達
    312‧‧‧角感測器
    314‧‧‧檢測器
    316‧‧‧電路
    318‧‧‧中央視頻影像處理器
    320‧‧‧USB連接
    322‧‧‧通訊通道
    324‧‧‧自動駕駛微處理器
    500‧‧‧方法
    600‧‧‧萬向架固定攝像機
    602‧‧‧飛行載具機身
    604‧‧‧中央影像處理器
    606‧‧‧遠端基地台
    608‧‧‧登陸攝像機
    併入並構成本說明書之附圖描繪實施例之一或更多範例連同範例實施例之說明，用以說明實施例之原理及實施。
    圖式中：圖1為具有其中安裝攝像機之萬向架固定球轉台之傳統有人駕駛飛行載具之底視圖；圖2為具若干細節之安裝傳統萬向轉台之攝像機之示意圖；圖3為依據文中所說明之一實施例之UAV之系統架構之方塊圖；圖4為方塊圖，顯示集中影像捕捉方法；圖5為監控處理之流程圖；以及圖6為示意圖，顯示與遠端基地台通訊之多攝像機UAV之監控作業。
    300‧‧‧虛線
    302‧‧‧轉台酬載
    304‧‧‧機身酬載
    306‧‧‧萬向節機構
    308‧‧‧微處理器
    310‧‧‧馬達
    312‧‧‧角感測器
    314‧‧‧檢測器
    316‧‧‧電路
    318‧‧‧中央視頻影像處理器
    320‧‧‧USB連接
    322‧‧‧通訊通道
    324‧‧‧自動駕駛微處理器
    权利要求:
    Claims (10)
    [1] 一種無人飛行載具(UAV)，包含：機身；萬向架支撐轉台，具有相對於該機身之一或更多自由度；攝像機，設置於該萬向架支撐轉台中用以以該一或更多自由度隨之運動；以及中央視頻影像處理器，設置於該萬向架支撐轉台外部，該中央視頻影像處理器經組配以接收及處理來自該攝像機之影像資料。
    [2] 如申請專利範圍第1項之UAV，其中，該中央視頻影像處理器包括一或更多下列模組：去馬賽克模組、視頻調節模組、個別訊框顯示資訊模組、及樣本匹配模組。
    [3] 如申請專利範圍第1項之UAV，進一步包含安裝至該飛行載具並耦合至該中央視頻影像處理器之附加攝像機，該中央視頻影像處理器經組配以接收及處理來自該附加攝像機之影像資料。
    [4] 如申請專利範圍第1項之UAV，其中，該附加攝像機為登陸攝像機。
    [5] 一種監控方法，包含：使用安裝於飛行載具機身外部之轉台中的萬向架固定攝像機捕捉影像資訊；將該捕捉之影像資訊傳輸至設置於該飛行載具機身中之中央影像處理器；以及處理該中央影像處理器中該傳輸之捕捉的影像資訊。
    [6] 如申請專利範圍第5項之方法，進一步包含將該中央影像處理器處理之資訊傳輸至遠端位置。
    [7] 如申請專利範圍第5項之方法，進一步包含使用安裝於該機身外部之附加攝像機捕捉影像資訊，並將該捕捉之影像資訊從該附加攝像機傳輸至設置於該飛行載具機身中之中央影像處理器。
    [8] 一種裝置，包含：捕捉影像手段，用以使用安裝於飛行載具機身外部之轉台中的萬向架固定攝像機捕捉影像資訊；傳輸手段，用以將該捕捉之影像資訊傳輸至設置於該飛行載具機身中之中央影像處理器；以及處理手段，用以處理該中央影像處理器中該傳輸之捕捉的影像資訊。
    [9] 如申請專利範圍第8項之方法，進一步包含傳輸資訊手段，用以將該中央影像處理器處理之資訊傳輸至遠端位置。
    [10] 如申請專利範圍第8項之方法，進一步包含捕捉影像資訊手段，用以使用安裝於該機身外部之附加攝像機捕捉影像資訊，並將該捕捉之影像資訊從該附加攝像機傳輸至設置於該飛行載具機身中之中央影像處理器。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI496605B|2015-08-21|無人飛行載具、監控方法及監控裝置
    US20190373173A1|2019-12-05|Multi-gimbal assembly
    US7417210B2|2008-08-26|Multi-spectral sensor system and methods
    JP2010006089A|2010-01-14|ライフライン等の施設の被災、損傷、劣化状況の空撮装置
    US10139822B2|2018-11-27|Unmanned aerial vehicles
    US10609278B2|2020-03-31|Systems and methods for improved mobile platform imaging
    KR20120082728A|2012-07-24|공중추적영상촬영을 위한 무인헬리콥터 탑재 카메라 짐벌의 시선각 연동 장치
    US20190116309A1|2019-04-18|Overhead line image capturing system and overhead line image capturing method
    US10917561B2|2021-02-09|Image processing in an unmanned autonomous vehicle
    JP6785412B2|2020-11-18|無人航空機システム
    US11076082B2|2021-07-27|Systems and methods for digital video stabilization
    JP2005289127A|2005-10-20|飛行装置の姿勢位置制御システムおよび姿勢位置制御装置
    US11089235B2|2021-08-10|Systems and methods for automatic detection and correction of luminance variations in images
    WO2020220234A1|2020-11-05|无人机的控制方法和无人机
    CN111953892A|2020-11-17|无人飞行器、检查方法及检查程序
    JP2019219874A|2019-12-26|自律移動撮影制御システムおよび自律移動体
    KR101637972B1|2016-07-08|무인 비행체를 이용하여 이동하는 피사체를 다면 촬영하기 위한 항공 촬영시스템 및 방법
    WO2019019172A1|2019-01-31|ADAPTIVE IMAGE PROCESSING IN A ROBOTIC VEHICLE
    WO2018158820A1|2018-09-07|距離算出システム、方法及びプログラム
    WO2019227287A1|2019-12-05|无人机的数据处理方法和设备
    CN110825033B|2021-06-15|一种伺服控制系统
    WO2020255729A1|2020-12-24|操縦支援装置、操縦支援方法、及びコンピュータ読み取り可能な記録媒体
    WO2020172800A1|2020-09-03|可移动平台的巡检控制方法和可移动平台
    JP6434764B2|2018-12-05|航空機の飛行制御方法及び航空機の飛行制御システム
    CN112335230A|2021-02-05|控制装置、摄像装置、移动体、控制方法以及程序
    同族专利:
    公开号 | 公开日
    TWI496605B|2015-08-21|
    WO2013074173A3|2013-07-18|
    US20130050487A1|2013-02-28|
    WO2013074173A2|2013-05-23|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    SE521820C2|2000-10-13|2003-12-09|Saab Ab|Metod och anordning vid automatisk landning|
    JP4783985B2|2001-02-28|2011-09-28|日本電気株式会社|映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム|
    US7000883B2|2003-01-17|2006-02-21|The Insitu Group, Inc.|Method and apparatus for stabilizing payloads, including airborne cameras|
    US7609972B2|2005-08-02|2009-10-27|Itt Manufacturing Enterprises, Inc.|Acquisition, pointing, and tracking architecture for laser communication|
    EP2089677B1|2006-12-06|2016-06-08|Honeywell International Inc.|Methods, apparatus and systems for enhanced synthetic vision and multi-sensor data fusion to improve operational capabilities of unmanned aerial vehicles|
    IL201682D0|2009-10-22|2010-11-30|Bluebird Aero Systems Ltd|Imaging system for uav|
    CA2780419A1|2011-06-17|2012-12-17|National Cheng Kung University|Unmanned aerial vehicle image processing system and method|US9288513B2|2011-08-29|2016-03-15|Aerovironment, Inc.|System and method of high-resolution digital data image transmission|
    US9156551B2|2011-08-29|2015-10-13|Aerovironment, Inc.|Tilt-ball turret with gimbal lock avoidance|
    US8523462B2|2011-08-29|2013-09-03|Aerovironment, Inc.|Roll-tilt ball turret camera having coiled data transmission cable|
    US10771748B2|2012-11-27|2020-09-08|Metropolitan Life Insurance Co.|System and method for interactive aerial imaging|
    FR3009157B1|2013-07-24|2016-12-09|Alain Iltis|Procede de determination de la profondeur d'une interaction dans un detecteur de radiation pixelise, detecteur et application associes.|
    GB201321545D0|2013-12-06|2014-01-22|Bae Systems Plc|Imaging method and apparatus|
    JP6146940B2|2014-04-28|2017-06-14|エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ|プラットフォーム|
    KR101740312B1|2015-01-09|2017-06-09|주식회사 대한항공|무인 항공기의 카메라 조종정보를 이용한 무인 항공기 유도제어 방법|
    US10147000B2|2015-09-15|2018-12-04|Sikorsky Aircraft Corporation|Manned unmanned teamingsystem to transform image data based on geographic orientation|
    CN109073140B|2016-05-31|2021-05-07|深圳市大疆灵眸科技有限公司|用于自适应云台的方法和系统|
    CN107197136B|2016-06-20|2019-04-09|普宙飞行器科技（深圳）有限公司|实现无人机机载相机图像美化、视频剪辑的控制方法|
    CN107079105B|2016-11-14|2019-04-09|深圳市大疆创新科技有限公司|图像处理方法、装置、设备及视频图传系统|
    CN106603730B|2017-02-28|2019-11-01|郑州云海信息技术有限公司|一种用于云平台的实时监控方法及其装置|
    US20180324389A1|2017-05-02|2018-11-08|Frederick Rommel Cooke|Surveillance Camera Platform|
    WO2020107266A1|2018-11-28|2020-06-04|深圳市大疆创新科技有限公司|手持云台及其拍摄控制方法|
    WO2021016855A1|2019-07-30|2021-02-04|深圳市大疆创新科技有限公司|一种手持云台的控制方法、设备、手持云台及存储介质|
    WO2021134225A1|2019-12-30|2021-07-08|深圳市大疆创新科技有限公司|云台、云台组件和控制系统|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    US13/220,535|US20130050487A1|2011-08-29|2011-08-29|Camera Ball Turret Having High Bandwidth Data Transmission to External Image Processor|
    [返回顶部]